Найдено записей: 4
'CloudMatrix объединяет 384 Ascend 910C и 192 Kunpeng в peer-to-peer суперузел для масштабного и эффективного сервинга LLM, улучшая пропускную способность и снижая латентность.'
'Разбор инференса в 2025: ключевые проблемы задержки и способы оптимизации, а также обзор ведущих провайдеров инференса.'
Mistral AI представила серию Magistral — новые большие языковые модели, оптимизированные для рассуждений и мультиязычности, доступные в открытом и корпоративном вариантах.
Исследователи NVIDIA разработали Dynamic Memory Sparsification (DMS) — метод сжатия KV кеша в трансформерах в 8 раз, который улучшает производительность инференса без снижения точности.